LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure
LittleLearner：基于小学课程受控知识暴露的语言模型
🧭 受控课程预训练 · 知识边界与注入评估
MPI-IS · Ellis Institute · ETHZ
构建88B token K-5语料并训练5B模型，提供研究知识边界与注入的受控沙盒
📌 工作参考价值（4 点）
- 借鉴课程过滤思路构建电商领域语料：用分类器或规则明确排除超出业务范围（如非在售品类、无关知识）的文本，降低模型幻觉与无关能力浪费。
- 评估知识边界可指导业务 LLM 上线：设计类似“是否知道某品类/政策”的探测题，判断模型是否具备真实业务知识，避免依赖 RAG 或微调误以为能注入新能力。
- 论文发现 post-training 与 ICL 只能更好地利用已有知识，不能提升 out-of-scope 能力。对电商 Agent 的启示：新品类或新政策若完全未在预训练中出现，仅靠检索或少样本提示可能无效，需考虑持续预训练或数据回灌。
- 低成本沙盒模型适合快速验证训练策略：业务中可先训一个小规模受控模型做消融，验证数据配比、课程顺序或知识注入方法，再迁移到大模型。